One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
从一到多，多到一：面向软件工程 Agent 的类别感知迭代专家训练
🧭 类别感知迭代专家训练与策略集成
Alibaba Group
解决软件工程 Agent 多类别任务在不均衡 RL 下的跷跷板问题，通过类别专家迭代训练与多教师蒸馏融合为单一策略
📌 工作参考价值（4 点）
- 类别不平衡下的 RL 训练：在电商/广告/搜索推荐场景中，不同 query 类型、商品类目、用户分群上的 Agent 策略提升往往不均。可借鉴将任务池按业务维度划分，分别训练类别专家，再合并，避免统一 RL 导致部分类别退化。
- 迭代刷新-修复-扩展（RRE）机制：用当前策略重新评估实例掌握度，复用自身验证成功的轨迹做 Repair SFT，再按策略短板重新采样任务继续 RL。可迁移到推荐 Agent 的长期训练中：周期性用线上策略回放成功 case 做 SFT，并动态调整训练样本分布，缓解遗忘和分布漂移。
- 无需外部教师模型：整个专家训练和集成不依赖 GPT-4 等外部模型生成轨迹或动作目标，全流程自举。对于企业内数据合规和成本敏感场景很有价值。
- 多教师在线蒸馏（MOPD）：通过标签路由将多个专家蒸馏到单一可部署学生模型，并用 ReLU 门控只保留每个教师相对参考策略的改进方向，可避免集成时负迁移。可借鉴用于多任务或多场景模型合并，尤其是线上只能部署单模型时。